El panorama moderno de optimización de CUDA representa un cambio de paradigma de la ejecución tradicional de streams con cuello de botella en CPU hacia un ecosistema autónomo y acelerado por hardware. Esta transición minimiza la sobrecarga del lado del host al desviar la asignación de memoria, la sincronización y el envío de kernels directamente al hardware de la GPU.

1. Evolución de la Interfaz Software-Hardware

La optimización comienza con el controlador. Las aplicaciones modernas utilizan cuInit y cuModuleLoad para gestionar módulos. Una característica clave es Carga Perezosa (CUDA_MODULE_LOADING=LAZY), donde las funciones solo se cargan en el contexto de la GPU cuando se invocan por primera vez, reduciendo drásticamente el tamaño de memoria y la latencia de inicio.

2. Compatibilidad Binaria y JIT

El rendimiento se mantiene entre generaciones usando PTX (Ejecución Paralela de Hilos) y cubin. El compilador JIT garantiza que el PTX de alto nivel se optimice para el conjunto de características específico de la arquitectura de la GPU objetivo en tiempo de ejecución. Compilar contra CUDA 11.3, por ejemplo, permite la ejecución en controladores 11.4 sin recompilación gracias a la compatibilidad ABI.

3. Límites de Recursos y Ejecución

La ejecución moderna está regida por un mapeo riguroso de recursos entre Búferes de Parámetros (PB) y Bloques de Hilos (TB). Esto se expresa matemáticamente como:

$$PB = \{BP_0, BP_1, \dots, BP_L\}, \quad TB = \{BT_0, BT_1, \dots, BT_L\}$$

Donde la validación de restricciones del hardware garantiza que $$BT_n \le BP_m$$ para $$n \le m$$. Este marco permite lanzamientos autónomos mediante cudaLaunchDevice manteniéndose dentro de los límites del hardware.

4. Primitivas de Gestión Proactiva

La optimización ahora requiere visibilidad global de los datos gestionados. Primitivas como cudaMemPrefetchAsync y el Administrador de Sistema permiten a la GPU preparar los datos antes de la entrada del kernel, eliminando cuellos de botella síncronos en plataformas heterogéneas que incluyen CPUs Arm y GPUs NVIDIA.